# 다중 클래스 분류

## 개요

다중 클래스 분류(Multiclass Classification)는 머신러닝 및 데이터 과학 분야에서 중요한 분석 기법 중 하나로, 주어진 입력 데이터를 **세 개 이상의 서로 독립적인 클래스**(카테고리)로 분류하는 작업을 말합니다. 이는 이진 분류(Binary Classification)의 일반화된 형태이며, 현실 세계의 다양한 문제 — 예를 들어 이미지 인식, 텍스트 분류, 음성 인식 등 — 에서 널리 활용됩니다.

예를 들어, 손글씨 숫자 인식 작업에서 모델은 0부터 9까지의 10개 클래스 중 하나로 각 이미지를 분류해야 하며, 이는 전형적인 다중 클래스 분류 문제입니다.

이 문서에서는 다중 클래스 분류의 개념, 주요 접근 방식, 사용되는 알고리즘, 평가 지표 및 실용적인 고려사항을 다룹니다.

---

## 다중 클래스 분류의 개념

### 정의와 특징

다중 클래스 분류는 입력 샘플 \( x \)를 미리 정의된 \( K \)개의 클래스 \( C_1, C_2, ..., C_K \) 중 하나로 할당하는 예측 문제입니다. 여기서 \( K \geq 3 \)이며, 각 샘플은 반드시 하나의 클래스에만 속합니다 (배타적 분류).

이와 대조적으로, **다중 라벨 분류**(Multilabel Classification)는 하나의 샘플이 여러 클래스에 동시에 속할 수 있는 경우를 다룹니다.

### 예시

- **이미지 분류**: 사진이 "고양이", "개", "말", "새" 중 어느 동물인지 분류
- **문서 분류**: 뉴스 기사가 "정치", "경제", "스포츠", "문화" 중 어느 카테고리에 속하는지 판단
- **음성 인식**: 입력된 음성 신호가 어떤 단어 또는 명령어인지 식별

---

## 다중 클래스 분류의 접근 방식

다중 클래스 문제를 해결하기 위해 일반적으로 다음과 같은 전략이 사용됩니다.

### 1. 일대다 (One-vs-Rest, OvR)

- 각 클래스를 "정답"으로 보고, 나머지 모든 클래스를 하나의 음성 클래스로 묶어 이진 분류기를 학습시킵니다.
- \( K \)개의 클래스가 있으면 \( K \)개의 이진 분류기가 생성됩니다.
- 예측 시, 각 분류기의 출력 점수 중 가장 높은 클래스를 선택합니다.

예: "고양이 vs 비고양이", "개 vs 비개", "말 vs 비말"...

> **장점**: 단순하고 대부분의 이진 분류 알고리즘에 적용 가능  
> **단점**: 클래스 간 균형이 깨지면 성능 저하 가능

### 2. 일대일 (One-vs-One, OvO)

- 모든 가능한 클래스 쌍에 대해 이진 분류기를 학습시킵니다.
- \( K \)개의 클래스에 대해 \( \frac{K(K-1)}{2} \) 개의 분류기가 필요합니다.
- 예측 시, 다수결 투표 방식으로 최종 클래스를 결정합니다.

예: "고양이 vs 개", "고양이 vs 말", "개 vs 말"...

> **장점**: 각 분류기가 더 균형 잡힌 데이터로 학습 가능  
> **단점**: 클래스 수가 많아질수록 분류기 수 급증 → 계산 비용 증가

### 3. 내장 다중 클래스 지원 알고리즘

일부 알고리즘은 원래부터 다중 클래스 문제를 직접 처리할 수 있도록 설계되어 있습니다:

- **소프트맥스 회귀**(Softmax Regression, 다항 로지스틱 회귀)
- **의사결정 나무**(Decision Trees)
- **랜덤 포레스트**(Random Forest)
- **그래디언트 부스팅 머신**(XGBoost, LightGBM)
- **신경망**(Neural Networks)

이 경우 별도의 OvR/OvO 전략 없이도 확률 분포를 출력하여 최종 클래스를 결정합니다.

---

## 주요 알고리즘과 기법

### 소프트맥스 함수

다중 클래스 분류에서 출력층의 활성화 함수로 **소프트맥스 함수**(Softmax Function)가 자주 사용됩니다. 이 함수는 \( K \)차원 실수 벡터를 입력받아, 각 클래스에 속할 확률을 나타내는 \( K \)차원 확률 분포로 변환합니다.

\[
\text{Softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}
\]

여기서 \( z_i \)는 모델의 원시 출력값(logit)이며, 소프트맥스 출력은 \( \sum_{i=1}^{K} p_i = 1 \)을 만족하는 확률 벡터가 됩니다.

### 손실 함수: 교차 엔트로피

다중 클래스 분류에서는 **다중 클래스 교차 엔트로피 손실**(Categorical Cross-Entropy Loss)을 주로 사용합니다.

\[
\mathcal{L} = -\sum_{i=1}^{K} y_i \log(\hat{y}_i)
\]

여기서 \( y_i \)는 실제 레이블의 원-핫 인코딩, \( \hat{y}_i \)는 예측 확률입니다.

---

## 모델 평가 지표

다중 클래스 분류 모델의 성능을 평가할 때는 다음과 같은 지표를 사용합니다:

| 지표 | 설명 |
|------|------|
| **정확도**(Accuracy) | 전체 샘플 중 올바르게 분류된 비율 |
| **정밀도, 재현율, F1 점수** | 클래스별로 계산하며, **마이크로 평균**, **마크로 평균**, **가중 평균** 방식으로 통합 |
| **혼동 행렬**(Confusion Matrix) | 각 클래스의 예측 결과를 시각화하여 오분류 패턴 분석 |
| **다중 클래스 ROC 곡선 및 AUC** | 클래스 쌍별로 ROC 곡선을 그려 평가 (OvR 기반) |

---

## 실무 고려사항

- **클래스 불균형**: 특정 클래스의 샘플 수가 훨씬 많거나 적을 경우 성능 왜곡 발생. **오버샘플링**, **언더샘플링**, **클래스 가중치** 적용 필요.
- **특성 공학**: 입력 데이터의 품질이 모델 성능에 직접적 영향. 정규화, 스케일링, 차원 축소 등 전처리 중요.
- **과적합 방지**: 특히 신경망이나 복잡한 모델에서 드롭아웃, 정규화, 조기 종료(Early Stopping) 사용.

---

## 관련 기술 및 확장

- **다중 라벨 분류**: 하나의 샘플이 여러 클래스에 속할 수 있음 (예: 영화 장르 분류)
- **계층적 분류**: 클래스 간 계층 구조를 고려 (예: 동물 → 포유류 → 개)
- **확률 기반 추론**: 베이지안 접근법을 통한 불확실성 추정

---

## 참고 자료

- Bishop, C. M. (2006). *Pattern Recognition and Machine Learning*. Springer.
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). *Deep Learning*. MIT Press.
- Scikit-learn 공식 문서: [https://scikit-learn.org/stable/modules/multiclass.html](https://scikit-learn.org/stable/modules/multiclass.html)
- TensorFlow/Keras: `CategoricalCrossentropy`, `softmax` 레이어 사용 가이드

---

이 문서는 다중 클래스 분류의 기초 개념부터 실무 적용까지를 포괄하며, 데이터 과학자 및 머신러닝 실무자가 문제 해결 시 참고할 수 있는 기준 정보를 제공합니다.